Felix Klein và Georg Cantor được cho là đã đưa ra ý tưởng về một đại hội quốc tế của các nhà toán học vào thập niên 1890.[2][3] Đại hội quốc tế đầu tiên của các nhà toán học được tổ chức tại Zurich vào tháng 8 năm 1897.[4] Ban tổ chức bao gồm các nhà toán học nổi tiếng như Luigi Cremona, Felix Klein, Gösta Mittag-Leffler, Andrey Markov, và những người khác. Đại hội có sự tham dự của 208 nhà toán học đến từ 16 quốc gia, trong đó có 12 từ Nga và 7 từ Mỹ. Chỉ có bốn người là nữ: Iginia Massarini, Vera von Schiff, Charlotte Scott và Charlotte Wedell.[5]

Trong đại hội năm 1900 tại Paris, Pháp, David Hilbert đã công bố danh sách 23 bài toán chưa giải được nổi tiếng của ông, nay được gọi là các bài toán của Hilbert Moritz Cantor và Vito Volterra đã có hai bài giảng toàn thể khi bắt đầu đại hội.[6]

Tại ICM 1904, Gyula Kőnig đã có một bài giảng trong đó ông tuyên bố rằng giả thuyết continuum nổi tiếng của Cantor là sai. Một sai sót trong chứng minh của Kőnig đã được Ernst Zermelo phát hiện ngay sau đó. Thông báo của Kőnig tại đại hội gây ra sự náo động đáng kể, và Klein phải đích thân giải thích với Đại công tước Baden (người bảo trợ tài chính cho đại hội) điều gì có thể gây ra tình trạng bất ổn như vậy giữa các nhà toán học.[7]

Trong đại hội năm 1912 ở Cambridge, Anh, Edmund Landau đã liệt kê bốn bài toán cơ bản về số nguyên tố, ngày nay được gọi là bài toán Landau. Đại hội năm 1924 tại Toronto được tổ chức bởi John Charles Fields, người khởi xướng Huy chương Fields; các nhà toán học được tham dự một chuyến du ngoạn đường sắt khứ hồi đến Vancouver và phà đến Victoria. Hai huy chương Fields đầu tiên đã được trao tại ICM 1936 ở Oslo.[7]

Sau Chiến tranh Thế giới thứ nhất, trước sự kiên quyết của khối Đồng minh, ICM năm 1920 ở Strasbourg và ICM năm 1924 ở Toronto đã loại trừ các nhà toán học từ các quốc gia trước đây là một phần của các liên minh Trung tâm. Điều này dẫn đến một cuộc tranh cãi vẫn chưa được giải quyết về việc có nên tính các đại hội Strasbourg và Toronto là ICM thực sự hay không. Khi khai mạc ICM năm 1932 ở Zürich, Hermann Weyl nói: "Chúng ta gặp một tình huống kì lạ. Xét n là số các Đại hội quốc tế các nhà toán học đã được tổ chức, ta có bất đẳng thức 7 ≤ n ≤ 9; rất tiếc là hệ tiên đề của chúng ta không đủ mạnh để đưa ra một khẳng định chính xác hơn". Kết quả của cuộc tranh cãi này là từ đại hội Zürich năm 1932 trở đi, các ICM không được đánh số.[7]

Tại ICM năm 1950 ở Cambridge, Massachusetts, Laurent Schwartz, một trong những người được trao Huy chương Fields cho năm đó, và Jacques Hadamard, cả hai đều được chính quyền Hoa Kỳ coi là những người có thiện cảm với cộng sản, chỉ có thể xin thị thực Hoa Kỳ sau sự can thiệp cá nhân của Tổng thống Harry Truman.[8][9]

Người phụ nữ đầu tiên giảng bài toàn thể tại ICM, tại đại hội năm 1932 ở Zürich, là Emmy Noether.[10] Bài giảng toàn thể ICM lần thứ hai của một phụ nữ đã được Karen Uhlenbeck trình bày 58 năm sau, tại ICM năm 1990 ở Kyoto.[11]